TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation
TRIAGE：面向自动化图RAG的可信评估与诊断框架
🧭 Graph-RAG 多阶段可信评估
IRT-SystemX
提出分阶段、无标注的信任指标链，用于定位自动构建的知识图谱在RAG中的故障阶段
📌 工作参考价值（4 点）
- 电商知识图谱问答（如商品属性问答、政策检索）可借鉴分阶段诊断链：将RAG流程显式拆为抽取、建图、检索三环，部署轻量级必要性指标，线上第一个不达标的指标直接指明故障环节，缩短排障时间。
- 提出的无标注指标（三元组置信度、源文档覆盖率、检索覆盖率、检索成本）可直接集成到离线评估流水线，用于自动构建商品知识图谱后的质量门禁，无需人工标注。
- 明确区分在线指标与离线校准指标，借鉴这一设计可以在保持实时监控轻量的同时，周期性使用人工参考做精确的全量校验，适合推荐场景中“先线上快速检、后离线深度纠”的双层评估策略。
- 对Graph-RAG系统中“图的结构质量”的评估方法，可迁移到基于知识图谱的搜索或推荐中，帮助判断自动构建的图是否因结构化错误而漏召回或错排序。